Rapport De Recherche

In this paper we present a novel approach for mimicking expressions in 3D from a monocular video sequence. To this end, first we construct a high resolution semantic mesh model through automatic global and local registration of a low resolution range data. The MPEG-4 standard and radial basis functions are then considered to represent and animate such a model using a predefined set of control points in a compact fashion. In order to recover the 2D positions of the 3D control points in the observed sequence, we use local cascade Adaboost-driven search constrained. The search space is reduced through the use of predictive expression modeling. The optimal configuration of the Adaboost responses is determined using combinatorial linear programming which enforces the anthropometric nature of the model defined from these points. 3D position is then deduced and the displacement can be reproduced on any version of the model, registered on another face. Our method doesn’t require dense stereo estimation and can then produce realistic animations, using any 3D model. Key-words: Face Reconstruction, Face Animation, Facial Feature Extraction ∗ Ecole Centrale de Paris † Orange / France Telecom R&D Mime d’Expression : de la Séquence Monoculaire à l’Animation 3D Résumé : Nous présentons dans ce papier une nouvelle approche pour mimer les expressions en 3D à partir d’une séquence monoculaire. Pour cela, nous construisons un modèle de visage sémantique de haute résolutions grâce à un recalage automatique global et local à partir de données basse résolution. Nous considérons le standard MPEG-4 et les fonctions à base radiale pour représenter et animer le modèle en utilisant un ensemble de points de contrôle prédéfinis. Pour retrouver la position 2D de ces points de contrôle 3D dans la séquence observée, nous utilisons un l’aglorithme de classification Adaboost en cascade. L’espace de recherche est réduit grâce à un modèle de prédiction d’expression. La configuration optimale des réponses de Adaboost est déterminée en utilisant de la programmation linéaire combinatoire, qui contraint la nature anthropometrique du modèle. La position 3D est alors déduite et le déplacement peut être reproduit sur toute version du modèle, recalé sur un autre visage. Notre méthode ne requière pas d’estimation stereo dense et peut reproduire des animations réalistes, en utilisant n’importe quel modèle 3D. Mots-clés : Reconstruction de Visage, Animation de visage, Extraction de points d’intêret Expression Mimicking 3